Meet Students Where They Are: Student-Prefix Teacher Adaptation for On-Policy Distillation
学生前缀教师适应：让教师适应学生生成前缀以提升在线策略蒸馏
🧭 On-policy 蒸馏·教师前缀适配 ★ 深度解读
Beijing Jiaotong University · Weixin AI, Tencent
在蒸馏前用学生前缀 RLVR 微调教师，提升其对学生在策略轨迹的监督可靠性，无需改变蒸馏目标
📌 工作参考价值（3 点）
- 在模型轻量化部署（如大模型蒸馏到线上小模型）时，除标准蒸馏外，先收集学生 rollout 截断为前缀，用可验证奖励（如最终答案/转化标签正确性）微调教师，使教师能“从学生所在状态继续”，可显著改善 token 级监督质量。实现时只对 continuation 部分做 RL，前缀作为 context，不模仿学生错误。
- 评估教师蒸馏能力应增加前缀条件恢复率（prefix-conditioned recovery accuracy），即给定学生常见前缀下教师正确完成的概率。该指标比独立准确率更能预测蒸馏增益；若教师在前缀上优势几乎消失，标准 OPD 可能停滞。
- 随机截断学生 rollout 作为前缀训练集，无需标注错误位置，是低成本构建教师故障恢复数据的方法。在电商文案/搜索 query 改写等任务中，可用类似方案让教师适应小模型的实际输出，并周期性从最新学生采集前缀以追踪分布漂移。